Ông sinh năm 1917 tại Huế, trong một gia đình quý tộc trí thức của triều Nguyễn.Ông có ba anh trai. Cao Văn Huy là Hiệu trưởng nhiều trường ở Huế và Nha trang. Cao Văn Chiểu, rất gần gũi Ngô Đình Diệm, từng là dân biểu Trung kỳ, rồi Chủ tịch Ủy ban Văn Hóa giáo dục Hạ nghị viện VNCH, Sứ thần VNCH tại Rome từ những năm 1970. Anh thứ ba-Luật sư Cao Văn Tường ba lần đắc cử dân biểu Lập hiến và Lập pháp Cộng hòa (1956-1963), đệ nhất Phó Chủ tịch Quốc hội. Thời đệ nhị Cộng hòa (1969) là Bộ trưởng Đặc trách liên lạc Quốc hội rồi Thượng nghị sĩ Quốc hội VNCH (4/1975).

Ông từng học bằng Cử nhân Luật tại Đại học Đông Dương, và tham gia phong trào Hướng đạo Pháp. Cũng tại đây, ông có những tiếp xúc với một số trí thức trẻ nổi tiếng như Phan Anh, Tạ Quang Bửu....

Ông lại không làm nghề luật mà trở thành một giáo sư tư thục dạy toán ở Huế, và tiếp tục tham gia phong trào Hướng đạo Trung Kỳ.